“爬虫”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果3998个，建议您升级VIP下载更多相关专利

[发明专利]基于scrapy爬虫框架的数据采集系统及方法-CN201911376762.0在审
发明人：魏志强;贾东宁;聂为之;刘安安;苏育挺 -专利权人：青岛海洋科学与技术国家实验室发展中心
申请日： 2019-12-27 - 公布日： 2020-05-29 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种基于scrapy爬虫框架的数据采集系统及方法，包括：爬虫队列模块和爬虫执行模块；爬虫队列模块包括爬虫种子队列、爬虫种子处理单元和爬虫任务队列；爬虫种子队列用于存储爬虫任务；爬虫种子处理单元用于对爬虫种子队列中的爬虫任务进行去重筛选处理，并将去重筛选后的爬虫任务存储入爬虫任务队列；爬虫执行模块包括网页下载单元和URL挖掘单元；网页下载单元用于从爬虫任务队列中读取当前需要执行的爬虫任务，基于读取到的爬虫任务下载网页；URL挖掘单元用于在下载到的网页中提取到新的URL链接作为新的爬虫任务存入爬虫种子队列；实现对特定领域网站域名的深度挖掘，提升了系统的爬取广度。
基于 scrapy 爬虫框架数据采集系统方法

[发明专利]多中心综合网络爬虫系统-CN202010206809.5有效
发明人：闫长江 -专利权人：新华智云科技有限公司
申请日： 2020-03-23 - 公布日： 2023-09-01 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种多中心综合网络爬虫系统，包括：爬虫中心和若干不同特色业务中心；若干不同特色业务中心分别处理不同的特色业务；爬虫中心用于对爬虫进行集中管理为不同特色业务中心服务；爬虫中心包括：爬虫池、爬虫执行缓存池、爬虫持久化数据库、爬虫维护API、爬虫执行器和爬虫组。本发明的有益之处在于，用户覆盖面广，爬虫的利用率及效益高。
中心综合网络爬虫系统

[发明专利]一种通过爬虫状态机管理爬虫的方法及装置-CN201711105662.5在审
发明人：郭建辉 -专利权人：天脉聚源（北京）传媒科技有限公司
申请日： 2017-11-10 - 公布日： 2018-04-20 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种通过爬虫状态机管理爬虫的方法及装置。所述通过爬虫状态机管理爬虫的方法，包括根据预设的爬虫规则生成爬虫状态机；将爬虫工作分解为多个阶段；运行所述各个阶段的爬虫工作对应的爬虫任务；在当前阶段的爬虫任务结束后，更新所述爬虫状态机的当前阶段的状态；在所述爬虫状态机的当前阶段满足预设的完成条件时，运行下一个阶段的爬虫工作对应的爬虫任务。本发明使得用户可直观的观测到爬虫的运行情况，也方便了相关的技术人员针对性的调整爬虫策略，从而提升了用户和技术人员的使用体验。
一种通过爬虫状态机管理方法装置

[发明专利]基于人工智能的网络爬虫方法、装置、设备及介质-CN202210035717.4在审
发明人：黄日华 -专利权人：平安科技（深圳）有限公司
申请日： 2022-01-13 - 公布日： 2022-04-22 - 主分类号： G06F16/951 文献下载
摘要：本申请提出一种基于人工智能的网络爬虫方法、装置、电子设备及存储介质，基于人工智能的网络爬虫方法包括：基于智能搜索引擎配置爬虫参数，所述爬虫参数包括需要被抓取的目标网址和网页中的目标字段；基于所述爬虫参数和预设的爬虫模板生成第一爬虫程序；依据机器学习算法优化所述第一爬虫程序以生成第二爬虫程序；依据预设的爬虫指标确定所述第二爬虫程序的爬取深度以获取第三爬虫程序；基于所述第三爬虫程序进行数据爬取以获取爬虫日志。本申请可以在保证爬虫数据准确性的情况下确定爬虫程序的爬取深度，从而提高数据的爬取效率。
基于人工智能网络爬虫方法装置设备介质

[发明专利]确定URL爬虫优先级的方法、爬虫方法、介质及爬虫系统-CN202011463085.9在审
发明人：王伟;王亮 -专利权人：北京四维图新科技股份有限公司
申请日： 2020-12-11 - 公布日： 2022-06-14 - 主分类号： G06F16/951 文献下载
摘要：本申请公开了一种确定URL爬虫优先级的方法、爬虫方法、介质及爬虫系统，属于通信计算机技术领域。该确定URL爬虫优先级方法包括：根据URL队列中的种子URL对应网页的重要程度，确定种子URL的爬虫优先级；根据种子URL的爬虫优先级，确定相应种子URL对应网页的爬虫优先顺序和、或爬虫频率；以及依据爬虫优先顺序和、或爬虫频率，对相应的网页进行爬虫。本申请的应用确定种子URL的爬虫优先级，提高网络爬虫的效率。
确定 url 爬虫优先级方法介质系统

[发明专利]一种爬虫方法、装置、系统、设备及可读存储介质-CN201910584929.6在审
发明人：黄巍峰;范渊;吴卓群 -专利权人：杭州安恒信息技术股份有限公司
申请日： 2019-07-01 - 公布日： 2019-09-27 - 主分类号： G06F16/951 文献下载
摘要：本申请公开了一种爬虫方法，应用于与爬虫平台建立通信连接的任一个移动终端，包括：接收爬虫平台发送的爬虫任务，爬虫任务至少包括：待爬取的目标和爬虫规则；利用移动终端的IP地址和爬虫规则爬取待爬取的目标，获得与爬虫任务对应的爬虫结果；IP地址为移动终端连接的移动通信网络为移动终端分配的IP地址；将爬虫结果传输至爬虫平台，以便爬虫平台存储爬虫结果。本申请使用的IP地址是移动通信网络为移动终端分配的动态IP地址；且移动终端为多个，因此降低了被爬虫目标拦截或封锁爬虫操作所使用的IP地址的可能性，也为爬虫的高并发提供了可能。本申请公开的一种爬虫装置、系统、设备及可读存储介质，也同样具有上述技术效果。
爬虫移动终端可读存储介质移动通信网络申请动态IP地址技术效果结果传输目标拦截爬虫装置平台建立通信连接分配并发存储发送封锁应用

[发明专利]一种分布式动态可配置的爬虫平台及爬虫方法-CN202111348896.9在审
发明人：朱遥文;黄伟聪 -专利权人：北京众标智能科技有限公司
申请日： 2021-11-15 - 公布日： 2022-04-08 - 主分类号： G06F16/951 文献下载
摘要：本发明提供了一种分布式动态可配置的爬虫平台及爬虫方法，用于从海量站点内定向抓取数据，包括用户输入爬虫需求，依据爬虫需求形成爬虫抓取规则；解析爬虫抓取规则形成爬虫任务，解析爬虫调度配置形成爬虫任务调度；根据爬虫任务对爬虫平台内多个爬虫子模块排序，选择排序最高的爬虫子模块作为最优爬虫运行节点；启动并执行爬虫任务，分别抓取m个目标站点的n个指定页面，解析指定页面URL并去重处理后加入待爬列队，直至m个目标站点中n个指定页面全部被抓取；对待爬列队中指定页面的结构化数据相似度检测，去重处理以降低冗余度，形成并保存爬虫结果。爬虫方法能够从海量站点内定向抓取数据，以快速高效的获取用户所需数据。
一种分布式动态配置爬虫平台方法

[发明专利]一种数据抓取策略的确定方法、装置及设备-CN202210981063.4在审
发明人：武寨青;程国艮;李欣杰 -专利权人：中译语通科技股份有限公司
申请日： 2022-08-16 - 公布日： 2022-11-08 - 主分类号： G06F16/951 文献下载
摘要：本申请提供了一种数据抓取策略的确定方法、装置及设备，其中，该方法包括：针对每个爬虫测试程序，从该爬虫测试程序中抽取该爬虫测试程序对应的爬虫行为特征，并确定该爬虫测试程序对应的测试爬取目标针对该爬虫测试程序的反馈结果；根据所有爬虫测试程序对应的爬虫行为特征以及反馈结果，确定爬虫测试模型；将针对爬取目标的候选爬虫策略所对应的至少一个爬虫行为特征输入爬虫测试模型，获得爬取目标针对候选爬虫策略的预测反馈结果；根据预测反馈结果对候选爬虫策略进行调整达到有针对性的设计爬取策略，避免爬虫资源的浪费，并能够持续、稳定地进行数据抓取的效果。
一种数据抓取策略确定方法装置设备

[发明专利]分布式爬虫系统架构、爬取数据的方法和计算机设备-CN201910601110.6在审
发明人：车驰;李钢;权佳成;谭瑞;张瑜 -专利权人：重庆金融资产交易所有限责任公司
申请日： 2019-07-04 - 公布日： 2019-11-15 - 主分类号： G06F16/951 文献下载
摘要：本申请揭示了一种分布式爬虫系统架构、爬取数据的方法和计算机设备，其中方法包括：利用任务发布模块获取爬虫任务，并将爬虫任务发送给爬虫模块；爬虫模块获取到爬虫任务后，到爬虫服务模块中调用与爬取要求对应的目标爬虫服务，并利用目标爬虫服务，到目标网站上爬取原始爬虫数据；将爬取的原始爬虫数据存储到预设的第一存储模块。本申请的分布式爬虫系统架构、分布式爬虫爬取数据的方法和计算机设备等，设置爬虫服务模块，将整个爬虫系统的底层需求进行封装，进行模块化，服务化的处理，减少开发人员的工作量，以及不限制开发人员的开发语言，降低能力需求；通过架构设计提升爬虫系统的稳定性和扩展能力。
爬虫爬虫系统计算机设备服务模块爬虫模块爬虫数据架构任务发布模块存储模块架构设计开发语言扩展能力目标网站能力需求模块化预设调用封装申请工作量服务存储开发

[发明专利]爬虫运行方法、装置、设备及计算机存储介质-CN202310497972.5在审
发明人：张永强 -专利权人：上海游昆信息技术有限公司
申请日： 2023-05-05 - 公布日： 2023-08-04 - 主分类号： G06F9/445 文献下载
摘要：本申请公开了一种爬虫运行方法、装置、设备及计算机存储介质，该方法包括：获取多个爬虫分别对应的爬虫属性；根据爬虫属性与服务器集群之间的对应关系，将多个爬虫中与目标爬虫属性对应的至少一个目标爬虫部署到与目标爬虫属性对应的目标服务器集群中；在接收到针对至少一个目标爬虫的运行指令的情况下，在目标服务器集群中运行至少一个目标爬虫，以通过至少一个目标爬虫采集数据。根据本申请实施例，易于对多个爬虫进行管理，能够提高爬虫的运行效率。
爬虫运行方法装置设备计算机存储介质

[发明专利]网络爬虫系统的测试方法及装置、存储介质、电子设备-CN201910444805.8在审
发明人：吕小立 -专利权人：深圳壹账通智能科技有限公司
申请日： 2019-05-24 - 公布日： 2019-10-15 - 主分类号： G06F11/30 文献下载
摘要：本公开涉及一种网络爬虫系统的测试方法及装置，属于测试工具技术领域，该方法包括：当接收到测试请求信号时，由系统任务数据库中获取爬虫任务，并将该爬虫任务发送至爬虫任务分发机；当该爬虫任务分发机向网络爬虫机器集群分发任务时，获取网络爬虫机器集群中的每一爬虫机器的总工作时间；根据每一爬虫机器的总工作时间，以得到该网络爬虫机器集群中的爬虫机器的工作量是否均衡的判断结果。该方法提高了网络爬虫系统的测试效率，且测试结果准确。
爬虫网络爬虫系统机器集群网络爬虫测试方法及装置任务分发测试请求信号任务数据库测试工具测试效率存储介质电子设备判断结果任务发送工作量分发均衡

[发明专利]基于APP客户端的爬虫及爬取方法-CN201910102917.5在审
发明人：龚云路 -专利权人：无锡火球普惠信息科技有限公司
申请日： 2019-01-31 - 公布日： 2019-05-28 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了基于APP客户端的爬虫及爬取方法，包括与爬虫服器匹配的爬虫sdk，爬虫sdk集成在APP客户端中，APP客户端通过与爬虫服务器端约定的特定参数来控制爬虫程序的启停，APP客户端作为子节点控制启动爬虫程序采集目标服务器数据实时返还给爬虫服务器，并由爬虫服务器解析采集的目标服务器数据，所有APP客户端都可自由地集成此爬虫sdk，这样既减轻了爬虫服务器的访问压力又可解决现有互联网爬虫技术在反爬虫技术检测下封杀IP的问题。
爬虫爬虫服务器客户端爬虫程序爬虫技术服务器数据目标服务器采集目标控制启动子节点客户启停解析匹配采集互联网检测自由访问

[发明专利]检测反爬虫策略安全性的方法及装置-CN201610537443.3有效
发明人：崔广宇;李巍 -专利权人：携程计算机技术（上海）有限公司
申请日： 2016-07-08 - 公布日： 2019-05-21 - 主分类号： H04L29/06 文献下载
摘要：本发明公开了一种检测反爬虫策略安全性的方法及装置，其中，所述方法包括：在网站的第一前端页面中嵌入用于实现反爬虫策略的反爬虫代码；利用所述反爬虫代码检测访问所述第一前端页面的用户是否为爬虫，将被检测出是爬虫的用户记为目标对象；验证所述目标对象是否为爬虫，统计所述目标对象非爬虫的次数；根据所述次数计算所述反爬虫策略的误伤率，所述误伤率用于衡量所述反爬虫策略的安全性。本发明弥补了现有技术对反爬虫策略的安全性检测不当造成系统伤害的不足，能够对反爬虫策略安全性准确检测，便于及时对反爬虫策略进行修改或更新，避免由于反爬虫策略的安全性对线上系统的稳定性造成影响，在检测爬虫的同时保证系统的稳定性
检测爬虫策略安全性方法装置

[发明专利]视频业务处理方法、装置及电子设备-CN201910241011.1有效
发明人：张家斌;张婷;栗阳力;纪军 -专利权人：北京市博汇科技股份有限公司
申请日： 2019-03-27 - 公布日： 2021-06-08 - 主分类号： H04N21/442 文献下载
摘要：方法包括：基于预设的视频业务获取与所述视频业务对应的爬虫任务集及配置文件；基于所述配置文件为所述爬虫任务集中的爬虫任务分配账号和进程，所述配置文件记录所述爬虫任务集中的每个爬虫任务对应的账号和进程，其中，所述爬虫任务集中的不同的第一爬虫任务对应的第一账号不相同，所述第一爬虫任务为需要重复登录账号的任务，每个所述第一账号与一个爬虫任务对应，且与所述第一账号对应的爬虫任务为所述第一爬虫任务；根据为所述爬虫任务集中的爬虫任务分配的账号和进程执行所述爬虫任务集中的爬虫任务
视频业务处理方法装置电子设备

[发明专利]一种容器化爬虫的集群应用方法、装置以及电子设备-CN202310903567.9在审
发明人：裴昌川 -专利权人：企知道科技有限公司
申请日： 2023-07-22 - 公布日： 2023-10-24 - 主分类号： H04L67/1008 文献下载
摘要：一种容器化爬虫的集群应用方法、装置以及电子设备，涉及网络数据采集技术领域。其中，方法包括：获取第一爬虫容器的第一运行状态；第一爬虫容器用于处理爬虫任务；第一运行状态包括CPU资源占用状态；判断第一运行状态与预设运行状态的大小关系；若第一运行状态大于或等于预设运行状态，则获取第二爬虫容器；第二爬虫容器用于处理爬虫任务；第二爬虫容器的第二运行状态小于预设运行状态；将爬虫任务分配给第二爬虫容器，以便于第二爬虫容器处理爬虫任务。实施本申请提供的技术方案，解决了爬虫容器资源利用效率低的问题。
一种容器爬虫集群应用方法装置以及电子设备

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 3998 条